Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
检索到但未读：理解搜索增强 LLM 未利用可用证据的原因
🧭 搜索增强 LLM 的证据利用失败分析
Imperial College London
通过时序事实和分层分析，揭示搜索增强 LLM 常“检索到但未读”，即使有新证据仍输出过时答案并给出不忠实引用
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，价格、库存、促销、政策等事实变化频繁，别把“检索到”当“已使用”。应记录 agent 是否打开详情页/全文；若仅读 snippet，可强制要求先展开来源页并基于全文作答，或把全文放入 context，避免 snippet 偏见。
- 引用可信度：对购物助手/客服回答要求逐句引用已打开页面内容；用 citation faithfulness 校验（如 NLI）拦截“答 A 引 B”的回复，尤其对有时效性的事实。
- 内部状态与最终答案不一致：即使模型隐层已表示新证据，最终仍可能偏向旧参数知识。可在 prompt 中显式对比“当前日期/最新数据”与模型先验，要求输出依据；或对关键时效属性做规则/缓存覆盖，不依赖 LLM 自己纠偏。
- 评测方法：构建训练截止后变更的“(实体, 属性, 旧值, 新值, 生效日期)”事实集，模拟商品改价/上下架/政策更新，用于回归测试 agent 的时效性和引用忠实性。